Среднее степенное взвешенное

Среднее степенное взвешенное — разновидность среднего значения. Для набора положительных вещественных чисел [math]\displaystyle{ x_1, \ldots, x_n }[/math] с параметром [math]\displaystyle{ q \ne 0 }[/math] и неотрицательными весами [math]\displaystyle{ w_1, \ldots, w_n }[/math] определяется как

[math]\displaystyle{ \bar{x} = \left(\frac{\sum_{i=1}^n w_i x_i^q}{\sum_{i=1}^n w_i}\right)^{1/q} }[/math].

Если веса [math]\displaystyle{ w_1, \ldots, w_n }[/math] нормированы к единице (то есть их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид

[math]\displaystyle{ \bar{x} = \left(\sum_{i=1}^n w_i x_i^q\right)^{1/q} }[/math].

Свойства

• В том случае, если все веса [math]\displaystyle{ w_i }[/math] равны между собой, среднее степенное взвешенное равно среднему степенному.
• Среднее арифметическое взвешенное и среднее гармоническое взвешенное являются частными случаями среднего степенного взвешенного при соответственно [math]\displaystyle{ q=1 }[/math] и [math]\displaystyle{ q=-1 }[/math].
• В пределе при [math]\displaystyle{ q \to 0 }[/math] среднее степенное взвешенное сходится к среднему геометрическому взвешенному.

Связь с энтропией Реньи

Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности [math]\displaystyle{ p_i }[/math] пребывания системы в состоянии с номером [math]\displaystyle{ i }[/math] ([math]\displaystyle{ i=1, \ldots, N }[/math]) нормированы к [math]\displaystyle{ 1 }[/math]. Если состояния системы равновероятны и имеют вероятность [math]\displaystyle{ p }[/math], то [math]\displaystyle{ N=1/p }[/math]. В случае разных вероятностей состояний [math]\displaystyle{ p_i }[/math] определим эффективное количество состояний [math]\displaystyle{ \overline{N} }[/math] как среднее степенное взвешенное от величин [math]\displaystyle{ x_i=1/p_i }[/math] с весами [math]\displaystyle{ p_i }[/math] и параметром [math]\displaystyle{ q=1-\alpha }[/math] (где [math]\displaystyle{ \alpha \ne 1 }[/math]):

[math]\displaystyle{ \overline{N}=\left(\sum_{i=1}^N p_i x_i^q\right)^{1/q} =\left(\sum_{i=1}^N p_i (1/p_i)^{1-\alpha}\right)^{\frac 1 {1-\alpha}} = \left(\sum_{i=1}^N p_i^\alpha\right)^{\frac 1 {1-\alpha}} }[/math].

Отсюда получаем выражение для энтропии

[math]\displaystyle{ H=\log \overline{N}=\log\left(\sum_{i=1}^N p_i^\alpha\right)^{\frac 1 {1-\alpha}}=\frac 1 {1-\alpha}\log\sum_{i=1}^N p_i^\alpha }[/math],

совпадающее с выражением для энтропии Реньи. Нетрудно видеть, что в пределе при [math]\displaystyle{ \alpha\to 1 }[/math] (или [math]\displaystyle{ q \to 0 }[/math]) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному). По определению энтропии Реньи должно соблюдаться дополнительное ограничение [math]\displaystyle{ \alpha \geq 0 }[/math] (или [math]\displaystyle{ q \le 1 }[/math]).

Литература

• Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.